数据去重 生成指纹：利用hashlib的sha1，对request的请求体、请求url、请求方法进行加密，返回一个40位长度的16进制的字符串，称为指纹 进队： ...

1.下载包 pip install scrapy 2.在使用路径终端上创建项目指令： scrapy startproject 项目名 爬虫文件名和爬虫名称不能相同，spiders目录内不能存在相 ...